Ông có người vợ tên là Phan Thị Chiều, nhỏ hơn ông hai tuổi, quê ở Cửa Bé (phường Vĩnh Trường, Nha Trang). Ông bắt hoạt động cách mạng năm 1946, rồi gặp cô Chiều xinh đẹp nhất ở Văn phòng Tỉnh ủy Khánh Hòa hồi ấy đóng tại vùng núi giáp ranh Khánh Hòa, Phú Yên.

Năm 1954, Giang Nam xin không tập kết ra Bắc mà ở lại hoạt động địa phương. Họ ước hẹn cưới nhau sau khi hiệp thương tổng tuyển cử hai miền Nam - Bắc theo Hiệp định Genève, 1954. Tuy nhiên, tổng tuyển cử đã không diễn ra. Do đó năm 1956, họ cưới nhau tại Lạc An (thuộc thị xã Ninh Hòa, Khánh Hòa bây giờ). Cưới hôm trước thì hôm sau bà Chiều về lại Vĩnh Trường ở Nha Trang để hoạt động hợp pháp, còn ông quay về căn cứ Đá Bàn (Ninh Hòa) tiếp tục kháng chiến.

Sau thời gian công tác bí mật tại các tỉnh Khánh Hòa, Phú Yên và Bình Định, Giang Nam được tổ chức đưa ra hoạt động hợp pháp với tên giả Nguyễn Sớm, làm thuê cho một xưởng cưa ở phía nam cầu Hà Ra (Nha Trang). Dù chỉ cách nhà vợ vài cây số nhưng hai vợ chồng không thể gặp nhau.

Khoảng năm 1957-1958, một kẻ phản bội chỉ điểm cơ sở cách mạng, cả Giang Nam lẫn vợ phải vào Nam tiếp tục hoạt động. Duyên phận đưa đẩy họ đoàn tụ tại Đồng Nai cho đến khi Giang Nam được lệnh rút về căn cứ Hòn Dù (Khánh Hòa) hoạt động. Sau sự kiện 30 tháng 4 năm 1975, Giang Nam mới được đoàn tụ với vợ con ở Thành phố Nha Trang[1]